11 E-String Figures: 導電繊維編み込み紐を用いたあやとり技認識システム
https://scrapbox.io/files/6752bd81c3f6a775c1a4a066.jpg
11 E-String Figures: 導電繊維編み込み紐を用いたあやとり技認識システム
永山 晃誠(筑波大学), 崔 明根(日本学術振興会/筑波大学), 武山 侑輝(筑波大学), 赤田 真由(筑波大学), 高田 崚介(神戸市立工業高等専門学校), 志築 文太郎(筑波大学)
あやとりのパターン認識を行うために，導電性のある紐の接触状態を両手にはめた手袋の電極から見た抵抗値で判別している．紐に電極を付ける先行研究や画像認識を行う先行研究に比べ，通常のあやとりにかなり近い状態で技認識を行えることが有用と思われ，採録と判断された．発表では，紐の長さを変えた場合のキャリブレーションや将来のアプリケーションなどを議論できると良いと思われる．
本研究では導電繊維を編み込んだ紐および両手の指に取り付けた電極を用いることにより，あやとり技を認識するシステムを示す．本システムでは，両手の10本の指に装着した電極を用いて各電極間の電位差を測定し，得られた測定値から機械学習を用いてあやとり技を認識する．あやとりは技によって紐の絡まり方および紐同士の接触点が異なるため，技ごとに電極間を流れる電流の経路が異なると考えられる．そのため，あやとり技ごとの電極間の電位差の違いを認識することによって，あやとり技を認識することができると考えた．実験にて，3種類の連続技のそれぞれの変形工程を認識したところ，連続技1のF値が0.91，連続技2のF値が0.98および連続技3のF値が0.82という精度で認識できた．
スライド
論文：
参加者メモ・コメント：
あやとりを認識するというモチベーションがおもろい鈴木一平 (BONSAI STUDIO).icon
すごくかっこいい鳥 narumi.icon
やばい、見た瞬間にスゲーとわかるkentarofukuchi.icon
手袋してるのは手を通じて導通するのを防ぐため？→ 各指に検出電極がついてる特製センサ手袋でした。
もともとは直接指に電極を装着していたのですが，感電したので絶縁用に手袋を装着しましたKouseiNagayama.icon
デモするための手袋のせいで、マイクにノイズが渡邊恵太.icon
「つき」すごい！！ShioMiyafuji.icon
このデバイスのせいでマイクにノイズが？？matsumur.icon
パプアのあやとりすごい 増井俊之.icon
https://gyazo.com/518035988140e1b1693f2961d21f7d6b
両手を使うためPC操作ができない → 耳ぴく！？yumu.icon
伏 線 回 収 鈴木一平 (BONSAI STUDIO).icon
一回テープLEDでやろうとしたけど、操作の案内がむずかしすぎて諦めましたね…Tatsuya NAGASAWA.icon
バックアップ動画用意👍ShioMiyafuji.icon
大事！！！！！鈴木一平 (BONSAI STUDIO).icon
あやとりしながらPC見てるのちょっとシュールですね
リアルタイムデモ素晴らしい！
この10x10マトリックスは何を意味しているんだろう？
おそらく、左右の指のペアですかね？yuiseki.icon
ナイトセッションの際は左右の指×左右の指というふうに教えてもらいました！FUJIYOSHI Satoko.icon
10×10の行列になっていて，1番電極から6番電極に電流が流れたとき，1行6列目のマス目が赤く点灯するようになっています．また，電流の強弱によってマス目の色の濃さが変わりますKouseiNagayama.icon
すごいw
デモのお手本は実装されているものより一個先の画像を見たいような気もする narumi.icon
https://scrapbox.io/files/675a33da36c5a38f9b93b1b3.jpg
すご、
プログレスバーで待つのには判定を確定するまでちょっと待ったほうが良いということでしょうかtakahiro.hara.icon
そうなります．紐を操作した瞬間に判定することも可能ですが，今回のデモにおいてはすぐに画面が切り替わって何をしているか見えないということを防ぐために，プログレスバーを導入しましたKouseiNagayama.icon
なるほど、たくさんのパターンを測定しないといけないから時間がかかる？
測定自体はそこまで時間がかからず，1/16(MHz)×90(パターン)=0.006(msec)で測定できます．
あやとりは両手が塞がるので，本や動画だと勉強しにくいですが，このシステムだと自動で手順を教えてくれるので，わかりやすくてすごくいいです！！！(臼井）
すごい細かいけど、導電糸の抵抗値を見ている以上、どうやっても「短絡」とは言わないような気もする narumi.icon
短絡しているなら同じ指や同じ絡みを利用するパターンを検知できないはずだから
たしかに…!
指にかかってさえいれば電流が流れるので、誤った絡まり方を正しいと認識しそう
接触抵抗がシビアそう。Ryo Takahashi.icon
正確に測定したわけではないですが，接触抵抗のせいで誤認識が生じたということは今のところ確認していません．
導電繊維編み込み紐で編みぐるみを作ってみたいです♪ソノヤマタカスケ.icon
手を頑張ってパーにしておかないといけない制約がある？？matsumur.icon
ひっぱりによって認識に影響のあるほどの抵抗値変化は起きないんですかねTatsuya NAGASAWA.icon
「つき」のように張りが少ないものの認識がどうなってるか気になりますShioMiyafuji.icon
せっかく電気が流れているのでLEDを仕込んで光らせたいですねyumu.icon
検出精度は落ちそうですがyumu.icon
紐の結び方（なんかむずかしいやつ）とかにも応用できたりするのかな？鈴木一平 (BONSAI STUDIO).icon
着眼点がかなり好きでした。この紐を使えばいろいろできそうですね
あやとり詳しくないですが、目的の形が一瞬でもできれば完成してるといえないのでしょうか。(完成形を維持しする必要性)
脱線した話題なのでこちらに書きますが、この導電繊維編み込み紐で、ロープ結び（ロープワーク）が学べると良さそうだなと思いましたyuiseki.icon
あやとりの過程はグラフで表現できるか
あやとり認識ができるということはあやとり入力ができるかhogelog.icon
なにを入力するんだろうhogelog.icon
高次元ベクトル空間の探索とかできたら夢がありそう……yuiseki.icon
形状記憶紐で作れば、間違えてもお湯につければリセットできるかな？（電熱にすればリセットコマンド可能）
それはもはやあやとりしなくても答えが出てるような…？:)くらもといたる.icon
二人あやとりで…と思ったけどなんもおもしろいこと思いつきませんでした西田健志.icon
二人あやとりで，かつ2本以上の紐を用いるあやとりもあるので，そのあたりの応用例(抵抗値の違う紐を用意して，紐を判別するなど)も考えていきたいと思いますKouseiNagayama.icon
質疑 matsumur.icon みんな書いてね
絡まってしまった時の復旧方法をガイドしてくれると嬉しい。
現状変形工程単位でしか認識していませんが，今後「どの指」で「どんな操作をしたのか(取る，外す，入れ替えるなど)」を認識できれば，操作を誤った際のリカバリーも可能になるんじゃないかと考えています．KouseiNagayama.icon
どう間違えたかを教えてもらえるような仕組みにはならないですかね？（見てもよくわからなくてちょっと違う取り方をするようなことって多い気がするので）くらもといたる.icon
間違えた状態も学習させておくと教えられるようにはなるかも。shizuki.icon
それは思ったんですが（主要な間違い方はそれでいけそう），なんかとんでもない間違いをしてしまったことが理解できるといいな…と思ったのです．くらもといたる.icon
そうそう、それは無理かもですねえ。網羅することも不可能かと。shizuki.icon
間違えたら電気ショックkentarofukuchi.icon ←wくらもといたる.icon
技としては違うけど同じ技として判定されてしまうことはあるのでしょうか？（川久保）
あります．そこは今後の課題としたいと考えています．あやとりは決まった手順に従って紐を操作していくため，紐の各変形工程を認識し，現在作っている技を絞り込んでいくことで，技の認識精度を向上させられると考えています．現状はシステム側から作る技を提示しているため異なる技を同じ技であると誤認識することはありませんKouseiNagayama.icon
右手と左手が非対称の技の時、右左が入れ替わっても問題なく検出できるのでしょうか
その場合は誤認識します．しかし，左右を入れ替えた場合の形状もあらかじめ学習しておくことで，正確に検出できるようになると考えられます．KouseiNagayama.icon
指と指が接触するような技(そんな技があるのかわからないです)でも判定できるのでしょうか？Yuunosuke Suenaga.icon
連続技3の東京タワーが指同士が触れ合う技になるのですが，実験では正しく認識することができましたKouseiNagayama.icon
プログレスバーはなんのためにある？
今回のデモ用に「ちゃんと紐形状を認識できてそう...!」というのを演出したくて入れました．しかし，紐を操作した後，維持し続けないといけないように見えてしまったため，あまり適切な演出ではなかったと思います．紐を操作した瞬間に操作の正誤を判定することもできますので，紐操作に慣れていくと形状を維持する時間を短縮していくといった調整も可能ですKouseiNagayama.icon